Twice Upon a Time: Complementary Representations for Time-Series Reasoning
时间序列推理的互补视觉表示
🧭 多模态时序表示 · 互补视图融合
Ben-Gurion University · Google
用线图与归一化延迟嵌入两种互补视觉视图训练视觉-语言时序模型,显著提升推理精度
📌 工作参考价值(4 点)
- 在电商销量预测、广告投放趋势分析等场景,若用 VLM/LLM 做时序问答或归因,避免只给单一线图或数值序列;同时输入原始线图(保留绝对量纲)与归一化延迟嵌入图(突出形态、去量纲偏移),让模型兼顾绝对峰值和形状相似性。
- 借鉴多级特征融合:时序视觉编码时,不只把最终 patch token 接入 LLM,可把中间层特征也作为 visual token 融合,保留更细粒度时间模式,适合流量、GMV 曲线等复杂信号。
- 对跨商品/类目趋势比较,先做幅度/偏移不变表示(如归一化延迟嵌入),可降低不同 scale 带来的过拟合,提升 cross-domain 泛化。
- 工程上可直接复用 Qwen-VL 系列:把原始 line plot 和 normalized delay embedding 渲染成两张图输入,无需重新设计数值 tokenizer,改造成本低但可能带来明显提升。